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基于 图 割 的 肺 4D-CT 图 像 超 分 辩 率 重建 
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摘要 : 肺 4D-CT 在 当今 的 肺癌 放射 治疗 中 起 着 重要 的 作用 。 本 文 提出 了 一 种 基于 全 局 图 割 方法 的 肺 4D-CT 图 像 超 分 辨 率 重 建 


方法 ,来 提升 肺 4D-CT 图 像 的 质量 。 该 方法 首先 在 最 大 后 验 马 尔 科 夫 随机 场 框架 下 建立 一 个 肺 4D-CT 各 相位 高 分 辨 率 图 像 重 


建 的 全 局 能 量 函 数 ,然后 ,将 该 能 量 函 数 转化 成 图 的 表达 方式 ,最 后 用 图 庆 方 法 和 a-B swap 算 法 优化 能 量 函数 来 恢复 高 分 辨 率 


图 像 细 节 结 构 。 实 验 结果 表明 ,在 恢复 图 像 的 细节 方面 ,本 文 方法 要 优 于 传统 的 线性 插值 和 凸 集 投影 超 分 辨 率 重 建 算法 。 


关键 词 : 肺 4D-CT; 超 分 辨 率 重建 ;图 割 ;a-Bswap 


Super-resolution reconstruction for 4-dimensional computed tomography of the lung 


using graph cuts 
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Abstract: Four-dimensional computer tomography (4D-CT) has a great value in lung cancer radiotherapy for its capability in 


providing lung information with respiratory motion. We employed a global graph cuts super-resolution (SR) reconstruction 
method to reconstruct high-resolution lung 4D-CT images. First, the high-resolution images reconstruction energy function 


was built based on a Maximum a posteriori Markov Random Field (MAP-MRF) formulation. The energy function was then 
transformed to a graph formulation, which was solved using graph cut algorithm. All the evaluation results showed that this 


approach outperformed the line interpolation and projection onto convex sets (POCS) approach with an improved structural 


clarity. 
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肺 4D 断 层 扫描 (4D-CT) 是 当今 的 肺癌 放射 治疗 中 
必 不 可 少 的 元 素 。 肺 4D-CT 图 像 在 肺癌 靶 向 治疗 中 捕 
获 肺 部 随 呼 吸 运动 的 信息 ,能够 指导 精确 放射 治疗 。 然 
而 ,由 于 存在 一 些 因 素 ,例如 人 体能 承受 的 放射 剂量 有 
限 , 成 像 硬 件 以 及 时 间 限 制 等 导致 肺 4D-CT 图 像 在 Z 轴 
方向 上 的 分 辨 率 较 低 ,并 且 图 像 党 伴 有 伪 影 和 噪声 。 而 
在 大 多 数 临 床 工 作 中 ,党 需要 高 分 辨 率 的 肺 4D-CT 图 
像 来 引导 放射 治疗 ,因此 提高 肺 4D-CT 图 像 的 工作 十 
分 重要 1。 

本 文 的 主要 目的 是 通过 超 分 辨 率 重 建 技术 来 提高 
肺 4D-CT 图 像 Z 轴 的 分 辩 率 。 超 分 辩 率 重建 技术 常用 


且 需 要 不 断 地 迭代 以 重建 出 高 分 辨 率 图 像 。 超 分 辩 率 
重建 的 另 一 类 方法 是 基于 学 习 的 方法 。 该 方法 主要 是 
通过 训练 图 像 学 习 高 分 辩 率 图 像 与 低 分 辩 率 图 像 之 间 
的 关系 ,来 恢复 低 分 辩 率 图 像 的 细节 信息 。 例 如 Yang 
等 4 人 提出 基于 稀 玻 表达 的 方法 来 重建 高 分 辨 率 网 像 。 
基于 学 习 的 方法 可 以 得 到 较 好 的 结果 ,但 是 依然 存在 一 
个 次 端 就 是 需要 高 分 辨 率 数据 作为 训练 集 ,因此 基于 学 
习 的 方法 在 肺 4D-CT 数 据 上 并 不 适用 。 目 前 也 有 一 部 
分 超 分 辩 率 重建 方法 是 基于 MAP-MREF 框 架 来 构建 超 
分 辩 率 重建 的 模型 95。 例如 ,Wallach 等 "提出 基于 最 大 
后 验 的 超 分 辩 率 重建 方法 来 提高 正 电子 断层 成 像 质 


的 方法 是 结合 多 幅 低 分 辨 率 图 像 提 供 的 不 同 空间 信息 
来 恢复 高 分 状 率 图 像 。 例 如 :和 迭 代 反 投影 算法 ”,POCS 
算法 "等 ,这 些 算法 的 结果 严重 依赖 配 准 结果 的 精度 ,并 
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量 。 基 于 MAP-MRF 方 法 的 优势 在 于 能 较 灵 活 地 结合 
多 种 形式 的 正则 化 项 来 得 到 好 的 重建 结果 ,但 是 传统 的 
估计 最 大 后 验 的 方法 求解 常 需 要 结合 迭代 过 程 ,而 且 多 
数 情 况 下 会 导致 非 凸 集 优化 问题 "1。 

本 文 主要 工作 是 提出 一 种 基于 图 割 方法 的 超 分 辨 
率 重建 方法 来 提高 肺 44D-CT 图 像 在 Z 轴 方向 上 的 分 辩 
率 。 本 文 的 方法 分 为 两 个 步骤。 首先 ,在 MAP-MRF 框 
架 下 构建 肺 4D-CT 图 像 超 分 辩 率 重建 的 模型 ,并 构建 
成 全 局 图 模式 ,然后 ,用 图 制 方法 求解 能 量 函 数 的 最 优 
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值 。 为 了 提高 求解 速度 和 精度 ,我 们 采用 a-B swap 方 。 是 边 的 集合 ,图 中 有 两 个 与 其 他 顶点 相连 的 终端 ,该 图 


法 “进行 图 制 优化 。 实 验 结果 显示 ,与 经 典 的 线性 插值 
和 POCS 超 分 辨 率 重 建 算法 相 比 ,本 文 的 方法 在 视觉 和 
定量 方面 都 获得 了 更 优 的 结果 。 


1 方法 
1.1 图 逢 

能 量 函 数 优化 技术 在 计算 机 视觉 领域 已 有 长 时 间 
发 展 , 图 制 是 图 像 能 量 函 数 优化 党 用 方法 之 一 "。 假 设 
8=(V,) 表 示 带 权 图 ,顶点 称 为 终端 ,V 是 硕 点 的 集合 ,E 


Space blur point spread function 


High 
resolution Motion Cpe 
image Hefor mation| ; 


图 1 图 像 退化 模型 


Fig.l Image degradation model. 


图 像 退化 模型 可 以 用 公式 (1) 表 示 为 : 

gi =DH,M, f+n,, (1) 
其 中 g, 表 示 第 k 幅 图 像 ,f 是 要 重建 出 的 高 分 辨 率 图 
像 。M, 是 f 相 对 于 g, 的 几何 变换 和 矩阵 ,五 为 光学 模糊 算 
阵 ,是 由 光学 系统 本 里 、 成 像 系统 与 原始 场景 的 相对 运 
动 以 及 低 分 辨 率 传 感 咒 的 点 扩散 函数 (point spread 
function, PSF) 形 成 的 ;DD 为 降 采 样 矩 阵 ;n, 则 表示 系统 
加 性 噪声 。 

超 分 辩 率 重建 过 程 是 图 像 退 化 过 程 的 逆 问题 ,其 原 
理 就 是 利用 多 帧 关于 同一 场景 (不 同 相位 ) 的 有 相互 位 
移 的 低 分 辩 率 图 像 ,重建 高 分 辩 率 清晰 的 图 像 。 在 本 文 
中 ,我 们 在 MAP-MRF 框 架 下 构建 图 像 超 分 状 率 重建 能 
量 函 数 ,如 公式 (2) 所 示 : 

E(f/8)= 2 DER 太史 | 由 2 Vadff) (2) 


其 中 V, (所 ,) 为 平滑 项 ,N 为 邻 域 ,f,f 为 像素 点 p,q 
的 灰 度 值 。 

1.3 基于 图 割 的 肺 4D-CT 超 分 辨 率 重 建 

1.3.1 全 局 图 构建 2001 年 Kolmogorov 等 "提出 图 割 
方法 用 于 能 量 函 数 优 化 后 ,图 制 方法 就 常用 于 求 取 多 维 
图 像 能 量 函 数 的 全 局 最 小 值 。 考 虑 到 4D-CT 数 据 的 特 
点 ,一 个 数据 包含 多 相位 低 分 状 率 图像 ,日 每 相位 图 像 
之 间 有 着 相互 的 联系 。 因 此 本 文 提出 了 一 个 全 局 图 市 
方法 来 优化 针对 4D-CT 数 据 建 立 的 图 像 能 量 函 数 。 首 


的 一 个 切割 [就 是 E 的 一 个 子 集 ,使 得 两 个 终端 之 间 没 有 
通路 连接 。 图 割 问题 就 是 要 寻找 这 样 的 一 个 切割 ,使 
得 中 包含 的 边 的 权 值 最 小 。 本 文 将 超 分 辩 率 重建 问题 
转化 成 图 市 优化 问题 。 假 设 给 图 中 所 有 的 像素 点 都 赋 
有 标签 ,找到 像素 点 最 佳 的 标签 匹配 值 ,使 图 像 能 量 函 
数值 最 小 ,最 佳 的 标签 匹配 即 为 重建 出 高 分 辨 率 图 像 的 
像素 值 。 

1.2 图 像 退化 模型 

图 像 退化 原理 "如 图 1 所 示 。 
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先 将 4D-CT 图 像 用 一 个 全 局 图 表示 ,然后 在 MAP-MRF 
框架 下 构建 多 相位 图 像 能 量 函 数 ,优化 求解 像素 点 最 住 
的 标签 匹配 值 。 全 局 图 可 以 用 图 2 表示 。 


以 
Phase 0 Phase 5 Phase 9 
| ,| 
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图 2 肺 4D-CT 图 像 全 局 图 构建 
Fig.2 An example of global graph represents 4D-CT data. 


1.3.2 能 量 函 数 构建 图 割 方法 能 优化 能 量 函 数 ,前 提 
是 函数 必须 是 图 的 表达 形式 ,所 以 我 们 构建 包含 全 部 
相位 的 全 局 图 形式 的 能 量 函 数 。 公 式 (3) 可 以 写 为 : 


T 
E(f)= Zp) — FE(p)+ 
MD = , en q ( fi (p), fi (g)) 
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其 中 /为 待 求解 的 各 相位 高 分 辩 率 重建 图 像 。5 为 初始 
高 分 辨 率 图 像 像 素 集 ,T 表 示 相 位 数 ,p 为 高 分 辨 率 图 像 
上 的 像素 点 ,有 表示 PSF, 4 为 平滑 项 系数 。 
V, (fi(p),f.(q) 表 示 平 滑 项 ,可 以 保证 重建 出 的 每 一 
相位 高 分 辩 率 图 像 保持 平滑 ,N 表 示 邻 域 。 我 们 设 定 

V, (fF(p)fi(9)) =min Gs, [f(D-AfD) (4) 
其 中 z 为 冰 值 大 小 。 

本 表示 相位 K 通 过 三 次 样 条 插值 得 到 的 初始 高 分 
辨 率 图 像 f ,采用 Demons 配 准 方法 分 别 向 其 他 相位 的 
低 分 辨 率 图 像 上 投影 ,然后 根据 投影 位 置 插值 重建 的 高 
分 辩 率 观察 图 像 ”。 

的 图 割 的 方法 优化 求解 ,我 们 
对 7e 记 (进行 简化 , 卷 积 ix* 记 ( 有 阿 以 写成 : 

xf.(p)=w,, fi(p)+ 这 oO (5) 


其 中 /是 像素 p 的 邻 域 N, 内 的 上 i。 这 里 假设 邻 域 像素 点 
对 中 心 点 的 影响 较 小 ,我 们 设 定 w, 值 为 1,w,, 值 为 0, 则 
简化 后 全 局 图 能 量 函 数 如 下 : 

£ (7 吕 站 


7 7 (6) 
名 QAP) -Fe(p) + 42 V (fi(p),f(q) 


1.3.3 全 局 图 能 量 函 数 优化 图 制 方法 有 两 种 最 小 化 算 
法 ,swap 算 法 和 expansion 算 法 。 本 文中 我 们 选择 a-p 
swap 算 法 来 优化 能 量 函 数 (6)。w-b swap 算 法 主要 是 通 
过 计算 数据 项 》 3 (万 (P)-FeCD) 值 ,如 果 数 据 项 满 


足 条 件 , 那 么 像素 点 的 标签 由 a 变 成 8, 反 之 保持 原来 的 
标签 ,通过 这 样 的 策略 求解 最 佳 的 标签 与 像素 点 的 匹 
配 , 即 最 优 的 高 分 辩 紊 图像 。 

1.4 基于 全 局 图 审 方 法 的 肺 4D-CT 图 像 超 分 状 率 重建 
本 文 基于 全 局 图 割 方法 的 肺 4D-CT 图 像 超 分 辩 率 
输入 : 肺 4D-CT 的 低 分 辩 率 图 像 ;(1) 由 肺 4D-CT 

数据 获得 不 同 相 位 的 低 分 辩 率 图 像 序列 ;(2) 将 不 同 相 

位 的 低 分 辩 率 图像 均 进行 插值 ,得 到 初始 的 高 分 辩 率 罗 

像 ;(3) 根 据 图 像 退 化 模型 建立 能 量 函 数 式 (2);(4) 选 取 

任意 一 相位 图 像 插值 得 到 的 初始 高 分 辨 率 图 像 的 像素 

值 集 作为 所 有 像素 点 匹配 的 初始 标签 集 ;(5) 计 算 各 相 

位 的 投影 重建 高 分 辨 率 观察 图 像 rx, 构 建 全 局 图 的 能 

量 函 数 式 (6);(6) 通 过 图 制 方法 和 a-p swap 算 法 优化 求 

解 建立 的 全 局 图 能 量 函 数 式 (6); 输 出 : 肺 4D-CT 的 高 分 

辩 率 图 像 。 


2 结果 
本 文采 用 DIR 实 验 室 提供 的 一 个 公共 可 用 的 肺 


4D-CT 数 据 集 进行 方法 评 佑 中。 该 数据 集 由 10 组 肺 
4D-CT 数 据 组 成 。 每 组 肺 4D-CT 包 含 10 个 相位 ,包括 极 
端的 吸 气 和 呼 气 的 末端 。 对 于 数据 1 到 数据 3, 图 像 大 
小 分 别 为 256x256, 层 内 的 体 素 尺寸 范围 从 0.97 mmx 
0.97 mm~1.16 mmxl.16 mm 之 间 。 数 据 6 到 数据 10, 图 
像 的 大 小 为 512x512, 层 内 的 体 素 尺寸 均 为 0.97 mmx 
0.97 mm。 对 于 所 有 的 数据 , 层 间 间距 均 为 2.5 mm。 

2.1 视觉 评价 

图 3 显示 了 典型 的 冠状 面 和 矢 状 面 用 不 同方 法 重 

建 的 结果 。 第 一 行 和 第 三 行 从 左 到 右 分 别 为 冠状 面 和 
矢 状 面 由 线性 插值 ,POCS 算法 和 本 文 方法 重建 结 
第 一 行 和 第 三 行 中 矩形 里 的 内 容 被 放大 显示 在 第 二 行 
和 第 四 行 。 我 们 可 以 看 出 ,与 线性 插值 和 POCS 算 法 结 
果 相 比 ,本 文 方法 重建 出 来 的 结果 要 更 加 清晰 


Fe 

3 
告 
向 
二 
加 
面 
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图 3 分 辨 率 增强 的 冠状 面 和 矢 状 面 图 像 重 建 结果 

Fig.3 Visual comparison of reconstruction results of coronal 
and sagittal images. The results given by linear interpolation, 
POCS method and our Proposed method are shown in the first 
and third rows, respectively The area of red box are enlarged 
and shown in the second and fourth rows. 


2.2 量化 评价 

我 们 采用 平均 梯度 “和 边 
指标 。 

平均 梯度 能 反映 图 像 微小 细节 反差 变化 的 速率 ,能 
表征 图 像 的 相对 清晰 程度 。 值 越 大 ,清晰 度 就 越 高 ,可 
用 公式 表示 为 : 


缘 宽度 “作为 量化 评价 


(7) 


人 VD FED 
V- 7-DN- | 


i=1 j=1 
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其 中 ,了 (i 站 ,VfiGi, 广 和 VfGi, 让 分 别 是 像素 点 灰 度 以 及 
其 在 行列 方向 上 的 梯度 ;M 和 NN 分 别 为 图 像 的 行 数 和 
列 数 。 我 们 分 别 对 10 组 肺 4D-CT 数 据 用 不 同 的 方法 重 
建 出 来 的 高 分 辩 率 图 像 进行 平均 梯度 计算 。 结 果 如 表 1 


表 1 重建 结果 的 平均 梯度 值 


所 示 。 为 了 使 结果 对 比 的 更 明显 ,我 们 还 列 出 了 平均 梯 
度 的 增加 百分比 。 较 线性 插值 和 POCS 算 法 ,我 们 的 方 
法 重建 出 来 图 像 的 平均 梯度 明显 提高 ,说明 图 像 更 清 
晰 ,细节 保持 更 好 。 


Tab.1 Average gradient value of reconstruction results by different algorithms 


Percent increase % 


Data Linear POCS Our method 
Our method/Linear Our method/POCS 
Data0 6.86 .79 8.60 20.23 9.88 
Datal 6.76 7.68 8.41 19.61 8.68 
Data2 6.68 7.39 8.30 19.52 8.55 
Data3 6.78 7.74 8.51 20.32 9.05 
Data4 6.72 7.78 8.41 20.09 7.40 
Data5 0:73 7.85 8.46 20.44 7.21 
Data6 6.72 7.86 8.41 20.09 6.53 
Data7 6.59 7.72 8.22 19.83 6.08 
Data8 6.57 7.61 8.06 18.48 5.23 
Data9 6.67 7.71 8.27 19.34 6.77 
Mean 6.81 7.73 8.37 19.79 7.54 
边缘 宽度 是 衡量 空间 分 辩 率 的 量化 参数 。 边 缘 宽 
度 主要 反映 所 选 边缘 “锐利 "程度 ,其 计算 公式 (8) 如 下 : 
width[edge|= (8) 
其 中 a 又 双 曲 线 函 数 y(x) = 拟 合 得 
1+exp(-a(x—c)) 
到 。 函 数 中 y(x) 为 像素 点 灰 度 ,x 为 像素 点 坐标 ,c 为 采集 


的 像素 点 中 心 。 

我 们 分 别 对 10 组 数据 进行 量化 评价 ,在 线性 插值 ， 
POCS 算法 和 文本 方法 重建 出 来 的 图 像 上 局 部 选取 3 
个 边缘 区 域 A,B,C( 图 4)。 

根据 公式 (8) ,我 们 对 三 种 方法 重建 得 到 高 分 辨 率 
图 像 上 取 3 个 边缘 区 域 进 行 边 缘 宽 度 计算 ,结果 如 下 表 
2 所 示 。 很 明显 我 们 方法 与 线性 搬 值 和 POCS 算 法 相 比 
较 , 边 缘 宽 度 都 有 了 一 定 的 减 小 ,边缘 细节 有 所 增强 。 


3 结论 

高 分 状 率 图 像 在 当今 的 医疗 和 科研 中 起 着 重要 的 
作用 。 如 可 以 提高 分 割 精 度 、 改 进 可 视 化 效果 等 “。 图 
像 处 理 技术 可 以 提高 图 像 的 分 辨 率 , 例 如 基本 的 插值 方 
法 可 以 改变 图 像 大 小 。 但 是 这 些 插值 方法 会 使 图 像 产 
生 一 些 伪 影 ,而 且 图 像 中 没有 增加 额外 的 信息 。 超 分 辩 
率 重 建 技术 可 以 有 效 地 提高 图 像 分 辩 率 。 肺 4D-CT 图 
像 在 肺癌 的 方式 在 治疗 中 发 挥 着 重要 的 作用 , 它 可 以 提 


图 4 3 个 边缘 区 域 位 置 
Fig.4 Three edge area location. 


供 肺 部 随 呼 吸 运动 的 信息 ,有 利用 跟踪 肿瘤 运动 。 提 高 
肺 4D-CT 图 像 的 质量 ,有 利于 实施 更 精确 的 肿瘤 放射 
治疗 。 

本 文采 用 了 一 种 基于 全 局 图 割 方法 的 超 分 辩 率 重 
建 方法 来 提高 肺 4D-CT 图 像 的 Z 轴 分 辨 率 。 该 方法 主 
要 特点 是 以 MAP-MRF 框 架 建 立 一 个 肺 4D-CT 多 相位 
高 分 辨 率 图 像 重建 的 全 局 能 量 函 数 , 然 后 用 图 割 方法 和 
o-B swap 算 法 优化 能 量 函 数 从 而 重建 高 分 辨 率 图 像 。 
本 方法 的 优势 在 于 不 需要 迭代 求解 ,同时 由 于 图 割 方法 
本 映 的 特性 能 获得 全 局 最 优 解 。 男 外 ,采用 的 马尔 科 夫 
正则 化 项 ,有 助 于 保持 图 像 的 平滑 ,降低 重建 图 像 的 噪 
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表 2 重建 结果 的 边缘 宽度 值 


Tab.2 Edge width value of reconstruction results by different algorithms 


A B C 
Data 
Linear POCS Our method Linear POCS Our method Linear POCS Our method 

1 4.81 4.56 3.66 9.92 7.68 6.38 551 5.15 4.47 
2 4.77 4.54 3.54 10.10 7.87 6.61 7.92 6.41 5.73 
3 4.91 4.66 3.65 12.13 8.83 7.21 4.79 4.55 3.48 
4 5.12 4.79 3.78 9.63 7.48 6.32 6.28 5.45 3.99 
5 4.89 4.68 3.65 9.16 5.44 5.44 $5,77 5.16 4.26 
6 5.05 4.80 3.41 9.05 6.94 5.49 5.69 5.17 4.29 
7 4.73 4.41 3.51 9.77 7.38 6.37 5.90 5.43 4.57 
8 4.49 4.28 3.08 71 6.00 4.65 8.68 6.91 3.99 
9 .22 5,]2 4.28 8.51 6.99 4.32 5.21 王公 4.52 
10 5.27 5.06 4.16 10.1 7.54 5.30 4.91 4.40 4.16 
Mean 4.93 4.69 3.67 9.61 7.22 5.80 6.07 3.37 4.55 


i。 实 验 结 果 证 明 , 本 文 方法 相 比 与 传统 的 线性 插值 和 


POCS 算 法 ,该 方法 无 论 是 在 视觉 上 还 是 在 量化 评 佑 都 
优 于 以 上 的 两 种 方法 。 
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